Ngày 24 tháng 11 năm 1960 qua Sắc chỉ "Chư huynh đáng kính" (Venerabilium Nostroum), Giáo hoàng Gioan XXIII đã thiết lập "Hàng Giáo phẩm Công giáo Việt Nam" gồm 3 giáo tỉnh: Hà Nội, Huế, Sài Gòn.[2] Sắc chỉ được công bố ngày 8 tháng 12 năm 1960, là cơ sở hình thành Hội đồng các Giám mục điều hành hoạt động Giáo hội Công giáo tại Việt Nam (bấy giờ vẫn còn nhiều Giám mục nước ngoài làm mục vụ tại Việt Nam). Tuy vậy, do hoàn cảnh chính trị và chiến tranh xảy ra trên cả hai miền Nam Bắc, cho đến năm 1975, hoạt động của Hội đồng Giám mục Việt Nam chủ yếu là ở miền Nam, trong vùng do chính quyền Việt Nam Cộng hòa kiểm soát.

Sau khi chấm dứt chiến tranh và Việt Nam hoàn toàn thống nhất (1975), các Giám mục cũng hình thành một nhu cầu thiết lập Hội đồng giám mục thống nhất chung trong cả nước. Đầu năm 1980, một hội nghị trù bị đã được tổ chức tại Tòa giám mục Hà Nội do Hồng y Giuse Maria Trịnh Văn Căn - Tổng Giám mục Tổng giáo phận Hà Nội chủ trì, cùng hai Tổng giám mục Phaolô Nguyễn Văn Bình - Tổng giám mục Tổng giáo phận Thành phố Hồ Chí Minh và Philipphê Nguyễn Kim Điền - Tổng giám mục Tổng giáo phận Huế và 5 giám mục khác nhằm chuẩn bị cho đại hội chính thức.

Đại hội lần thứ nhất các Giám mục Việt Nam diễn ra tại Hà Nội từ ngày 24 tháng 4 cho đến ngày 1 tháng 5 năm 1980 với sự tham dự của 33 Giám mục đã bầu Hồng y Giuse Maria Trịnh Văn Căn làm Chủ tịch Hội đồng Giám mục Việt Nam. Tại đại hội này, các Giám mục Việt Nam đã ra thư chung đầu tiên, trong đó xác định đường hướng mục vụ của Giáo hội Việt Nam với hai điểm quan trọng: Hội Thánh vì loài người và Hội Thánh trong lòng dân tộc:

Là Hội Thánh trong lòng dân tộc Việt Nam, chúng ta quyết tâm gắn bó với vận mạng quê hương, noi theo truyền thống dân tộc hoà mình vào cuộc sống hiện tại của đất nước. Công Đồng dạy rằng "Hội Thánh phải đồng tiến với toàn thể nhân loại và cùng chia sẻ một số phận trần gian với thế giới" (MV 40,2). Vậy chúng ta phải đồng hành với dân tộc mình, cùng chia sẻ một cộng đồng sinh mạng với dân tộc mình, vì quê hương này là nơi chúng ta được Thiên Chúa mời gọi để sống làm con của Người, đất nước này là lòng mẹ cưu mang chúng ta trong quá trình thực hiện ơn gọi làm con Thiên Chúa, dân tộc này là cộng đồng mà Chúa trao cho chúng ta để phục vụ với tính cách vừa là công dân vừa là thành phần Dân Chúa.[3]